【翻译】《利用Python进行数据分析·第2版》第12章（中） pandas高级应用

作者：SeanCheney   Python爱好者社区专栏作者

简书专栏：https://www.jianshu.com/u/130f76596b02

前文传送门：

用分类进行计算

与非编码版本（比如字符串数组）相比，使用pandas的Categorical有些类似。某些pandas组件，比如groupby函数，更适合进行分类。还有一些函数可以使用有序标志位。

来看一些随机的数值数据，使用pandas.qcut面元函数。它会返回pandas.Categorical，我们之前使用过pandas.cut，但没解释分类是如何工作的：

In [41]: np.random.seed(12345) In [42]: draws = np.random.randn(1000) In [43]: draws[:5] Out[43]: array([-0.2047,  0.4789, -0.5194, -0.5557,  1.9658])

计算这个数据的分位面元，提取一些统计信息：

In [44]: bins = pd.qcut(draws, 4) In [45]: bins Out[45]: [(-0.684, -0.0101], (-0.0101, 0.63], (-0.684, -0.0101], (-0.684, -0.0101], (0.63, 3.928], ..., (-0.0101, 0.63], (-0.684, -0.0101], (-2.95, -0.684], (-0.0101, 0.63 ], (0.63, 3.928]] Length: 1000 Categories (4, interval[float64]): [(-2.95, -0.684] < (-0.684, -0.0101] < (-0.010 1, 0.63] <                                    (0.63, 3.928]]

虽然有用，确切的样本分位数与分位的名称相比，不利于生成汇总。我们可以使用labels参数qcut，实现目的：

In [46]: bins = pd.qcut(draws, 4, labels=['Q1', 'Q2', 'Q3', 'Q4']) In [47]: bins Out[47]: [Q2, Q3, Q2, Q2, Q4, ..., Q3, Q2, Q1, Q3, Q4] Length: 1000 Categories (4, object): [Q1 < Q2 < Q3 < Q4] In [48]: bins.codes[:10] Out[48]: array([1, 2, 1, 1, 3, 3, 2, 2, 3, 3], dtype=int8)

加上标签的面元分类不包含数据面元边界的信息，因此可以使用groupby提取一些汇总信息：

In [49]: bins = pd.Series(bins, name='quartile') In [50]: results = (pd.Series(draws)   ....:            .groupby(bins)   ....:            .agg(['count', 'min', 'max'])   ....:            .reset_index()) In [51]: results Out[51]:  quartile  count       min       max 0       Q1    250 -2.949343 -0.685484 1       Q2    250 -0.683066 -0.010115 2       Q3    250 -0.010032  0.628894 3       Q4    250  0.634238  3.927528

分位数列保存了原始的面元分类信息，包括排序：

In [52]: results['quartile'] Out[52]: 0    Q1 1    Q2 2    Q3 3    Q4 Name: quartile, dtype: category Categories (4, object): [Q1 < Q2 < Q3 < Q4]

用分类提高性能

如果你是在一个特定数据集上做大量分析，将其转换为分类可以极大地提高效率。DataFrame列的分类使用的内存通常少的多。来看一些包含一千万元素的Series，和一些不同的分类：

In [53]: N = 10000000 In [54]: draws = pd.Series(np.random.randn(N)) In [55]: labels = pd.Series(['foo', 'bar', 'baz', 'qux'] * (N // 4))

现在，将标签转换为分类：

In [56]: categories = labels.astype('category')

这时，可以看到标签使用的内存远比分类多：

In [57]: labels.memory_usage() Out[57]: 80000080 In [58]: categories.memory_usage() Out[58]: 10000272

转换为分类不是没有代价的，但这是一次性的代价：

In [59]: %time _ = labels.astype('category') CPU times: user 490 ms, sys: 240 ms, total: 730 ms Wall time: 726 ms

GroupBy操作明显比分类快，是因为底层的算法使用整数编码数组，而不是字符串数组。

分类方法

包含分类数据的Series有一些特殊的方法，类似于Series.str字符串方法。它还提供了方便的分类和编码的使用方法。看下面的Series：

In [60]: s = pd.Series(['a', 'b', 'c', 'd'] * 2) In [61]: cat_s = s.astype('category') In [62]: cat_s Out[62]: 0    a 1    b 2    c 3    d 4    a 5    b 6    c 7    d dtype: category Categories (4, object): [a, b, c, d]

特别的cat属性提供了分类方法的入口：

In [63]: cat_s.cat.codes Out[63]: 0    0 1    1 2    2 3    3 4    0 5    1 6    2 7    3 dtype: int8 In [64]: cat_s.cat.categories Out[64]: Index(['a', 'b', 'c', 'd'], dtype='object')

假设我们知道这个数据的实际分类集，超出了数据中的四个值。我们可以使用set_categories方法改变它们：

In [65]: actual_categories = ['a', 'b', 'c', 'd', 'e'] In [66]: cat_s2 = cat_s.cat.set_categories(actual_categories) In [67]: cat_s2 Out[67]: 0    a 1    b 2    c 3    d 4    a 5    b 6    c 7    d dtype: category Categories (5, object): [a, b, c, d, e]

虽然数据看起来没变，新的分类将反映在它们的操作中。例如，如果有的话，value_counts表示分类：

In [68]: cat_s.value_counts() Out[68]: d    2 c    2 b    2 a    2 dtype: int64 In [69]: cat_s2.value_counts() Out[69]: d    2 c    2 b    2 a    2 e    0 dtype: int64

在打数据集中，分类经常作为节省内存和高性能的便捷工具。过滤完大DataFrame或Series之后，许多分类可能不会出现在数据中。我们可以使用remove_unused_categories方法删除没看到的分类：

In [70]: cat_s3 = cat_s[cat_s.isin(['a', 'b'])] In [71]: cat_s3 Out[71]: 0    a 1    b 4    a 5    b dtype: category Categories (4, object): [a, b, c, d] In [72]: cat_s3.cat.remove_unused_categories() Out[72]: 0    a 1    b 4    a 5    b dtype: category Categories (2, object): [a, b]

表12-1列出了可用的分类方法。

表12-1 pandas的Series的分类方法

为建模创建虚拟变量

当你使用统计或机器学习工具时，通常会将分类数据转换为虚拟变量，也称为one-hot编码。这包括创建一个不同类别的列的DataFrame；这些列包含给定分类的1s，其它为0。

看前面的例子：

In [73]: cat_s = pd.Series(['a', 'b', 'c', 'd'] * 2, dtype='category')

前面的第7章提到过，pandas.get_dummies函数可以转换这个以为分类数据为包含虚拟变量的DataFrame：

In [74]: pd.get_dummies(cat_s) Out[74]:   a  b  c  d 0  1  0  0  0 1  0  1  0  0 2  0  0  1  0 3  0  0  0  1 4  1  0  0  0 5  0  1  0  0 6  0  0  1  0 7  0  0  0  1

赞赏作者

好课推荐，下图扫码即可免费学习

Python爱好者社区历史文章大合集：

福利：文末扫码立刻关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“课程”即可获取：

小编的Python入门视频课程！！！

崔老师爬虫实战案例免费学习视频。

丘老师数据科学入门指导免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析！Spark2.X+Python 精华实战课程免费学习视频。

丘老师Python网络爬虫实战免费学习视频。